[Monte Carlo] Monte Carlo と BigQuery の接続を設定する #MonteCarloData

[Monte Carlo] Monte Carlo と BigQuery の接続を設定する #MonteCarloData

Clock Icon2023.08.15

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

Monte CarloとBigQueryを接続する方法を紹介します。

Monte Carloとデータウェアハウスを接続すると、テーブルとパイプラインの状態を追跡できるようになります。メタデータ、クエリ ログ、メトリクスをウェアハウスから自動的に取得することで、データパイプラインの状態を可視化しています。

1. BigQueryのプロジェクトごとにサービスアカウントを作成する

Monte Carloで監視したいBigQueryのプロジェクトが複数ある場合には、プロジェクトごとにサービスアカウントを作成します。

最初にMonte Carlo用のロールを作成します。

  1. Google Cloud PlatformコンソールでIAM & AdminのRoleセクションに移動する
  2. 対象のプロジェクトを選択する
  3. Create Roleボタンをクリック
  4. ロール名を入力(Monte Carloの推奨はData Reliability Monitor
  5. Role launch stageをGeneral Availabilityにする
  6. Add Permissionsから以下の権限を追加する
    # BigQuery Adminでフィルター => 追加
    bigquery.datasets.get
    bigquery.datasets.getIamPolicy
    bigquery.jobs.get
    bigquery.jobs.list
    bigquery.jobs.listAll
    bigquery.jobs.create
    bigquery.tables.get
    bigquery.tables.getData
    bigquery.tables.list
    resourcemanager.projects.get
    # Storage Adminでフィルター => 追加
    storage.buckets.list
    storage.buckets.get
    storage.objects.list
    storage.objects.get
    
  7. Create

次に、サービスアカウントを作成します。

  1. IAM & AdminのService Accountセクションに移動する
  2. Create Service Accountをクリック
  3. サービスアカウント名を入力(Monte Carloの推奨はmonte-carlo
  4. Create and Continueをクリック
  5. 先ほど作成したData Reliability Monitorロールを付与
  6. 作成
  7. JSONアクセスキーを作成する
    サービスアカウント一覧から該当のサービスアカウント行の右の3つドットメニューを開いてManage Keysを選択 Add KeysからJSONを選択して作成

2. Monte CarloにJSONキーを登録する

Settings > Integrations > Data Lake and Warehouses > Create > BigQuery を選択

作成したJSONキーをアップロードして登録。

接続のテストが通ったら完了です!

自動でテーブル情報を収集

接続して2週間ほどでMonte Carloが接続しているデータベースの情報を学習して、Assetsページにデータの取得情報などをまとめてくれます。

まとめ

Monte CarloをBigQueryと連携する方法のご紹介でした!

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.